Ông sinh năm 1920 tại Cần Thơ. Có tài liệu ghi ông tên thật là Lâm Văn Phất.[1] Cha ông là một nhà giáo, do đó ông cũng có một nền giáo dục từ nhỏ và được học hết chương trình Trung học phổ thông, tốt nghiệp với văn bằng Tú tài toàn phần (Part II) tại Cần Thơ. Năm 1945, ông tham gia Lực lượng Thanh niên Tiền phong và tham gia cướp Chính quyền tại Cần Thơ. Sau khi quân Pháp nổ súng tái chiếm Nam Bộ, ông bị buộc phải trở về Cần Thơ.

Quân đội Liên hiệp Pháp

Tháng 5 năm 1946 ông nhập ngũ vào Quân đội Pháp, Theo học khóa 1 Nguyễn Văn Thinh tại trường Võ bị Liên quân Viễn đông ở Đà Lạt, khai giảng ngày 15 tháng 7 năm 1946. Ngày 1 tháng 7 năm 1947 mãn khóa tốt nghiệp Thủ khoa với cấp bậc Thiếu úy.[2] Cùng tốt nghiệp khóa này với ông có một số sĩ quan trẻ người Việt khác như Nguyễn Khánh, Trần Thiện Khiêm, Dương Văn Đức..., những người về sau có vai trò quan trọng trong sự nghiệp của ông.

Tuy nhiên, sau khi tốt nghiệp, ông đào ngũ vào chiến khu cùng một số bạn học, từng làm đến Trung đội trưởng Vệ quốc Đoàn ở Khu 8. Một thời gian sau, ông trốn về lại Cần Thơ, ngụ tại nhà chị ruột là Lâm Thị Phấn. Do sự bảo lãnh của người tình của bà Phấn, ông được bí mật đưa sang Pháp học nghề cơ khí. Không lâu sau, ông bị phát giác thân phận và quá khứ đào ngũ, nhưng nhờ sự can thiệp từ các mối quan hệ của chị ruột, ông không bị đưa ra xét xử, đổi lại phải tiếp tục đi học và khi trở về Việt Nam phải tiếp tục phục vụ cho Quân đội Pháp.

Quân đội Quốc gia Việt Nam

Năm 1950, sau khi Quốc gia Việt Nam chính thức được thành lập, ông được thăng cấp Trung úy và được cử đi du học lớp căn bản Thiết giáp tại Trường Thiết giáp Kỵ binh Saumur Pháp, nhằm đào tạo lực lượng sĩ quan Thiết giáp nòng cốt cho Quân đội Quốc gia Việt Nam. Đầu tháng 10 năm 1951, ông về nước và được cử làm Chỉ huy phó Trường Sĩ quan Trừ bị Thủ Đức, đến cuối năm, được chuyển sang làm Đại đội trưởng Đại đội Thám thính đồn trú tại Gia Lâm, Hà Nội.

Tháng 5 năm 1952, ông được thăng cấp Đại úy, ba tháng sau bàn giao Đại đội Thám thính lại cho Trung úy Vĩnh Lộc, ông được điều động về công tác tại Bộ Tổng tham mưu Quân đội Quốc gia Việt Nam vừa được thành lập. Tháng 8 năm 1953, ông được thăng cấp Thiếu tá và được cử làm Chánh văn phòng cho tướng Nguyễn Văn Hinh Tổng tham mưu trưởng Quân đội Quốc gia. Tháng 7 năm 1954, ông được thăng cấp Trung tá tại nhiệm.

Quân đội Việt Nam Cộng hòa

Sau khi chính thể Việt Nam Cộng hòa được thành lập, ông tiếp tục phục vụ trong Quân đội Việt Nam Cộng hòa. Đầu năm 1956, ông được cử làm Chỉ huy trưởng Trung tâm Huấn luyện Quán Tre.[3] Đầu năm 1957, ông được bổ nhiệm làm Tư lệnh Sư đoàn 13 Khinh chiến, sau khi bàn giao Trung tâm Huấn luyện số 1 Quán Tre lại cho Trung tá Nguyễn Ngọc Lễ. Cuối năm, ông chuyển qua giữ chức vụ Tổng thanh tra Tổng Nha Bảo an và Dân vệ trực thuộc Phủ Tổng thống, sau khi bàn giao Sư đoàn 13 lại cho Trung tá Huỳnh Văn Cao.[1]

Tháng 8 năm 1958, ông được cử đi học lớp Chỉ huy và Tham mưu (US Army Command and General Staff College) tại học viện Fort Leavenworth, Kansas, (Hoa Kỳ) với thời gian 42 tuần, mãn khóa vào cuối tháng 7 năm 1959. Đầu năm 1960, ông được thăng cấp Đại tá và được chỉ định vào chức vụ Tổng Giám đốc Bảo an và Dân vệ thay thế Đại tá Đặng Văn Quang.[4] Ngày 8 tháng 6 năm 1961, ông được bổ nhiệm chức vụ Tư lệnh Sư đoàn 2 Bộ binh thay thế Đại tá Dương Ngọc Lắm[5]. Ngày 18 tháng 6 năm 1963, bàn giao Sư đoàn 2 Bộ binh lại cho Đại tá Trương Văn Xương[6] ông được chỉ định làm Tư lệnh phó Quân đoàn III và Vùng 3 Chiến thuật dưới quyền Thiếu tướng Tôn Thất Đính.

Bốn lần tham gia đảo chính

Là một trong những sĩ quan cao cấp của Quân đội Quốc gia Việt Nam được chuyển sang Quân đội Việt Nam Cộng hòa, tuy nhiên suốt thời gian từ 1955-1963, ông chỉ được phân công công tác ở các chức vụ không có thực quyền. Điều này có lẽ do thái độ thiếu tin cậy với quá khứ đào ngũ nhiều lần cũng như quan hệ gia đình của ông. Từ đó ông có tâm lý bất mãn và trở thành một trong những sĩ quan cao cấp đầu tiên tham gia âm mưu đảo chính đứng đầu bởi tướng Dương Văn Minh và Trần Văn Đôn. Khi Đảo chính tháng 11 năm 1963 nổ ra, ông được phân công chỉ huy một bộ phận Thiết giáp bao vây Dinh Độc Lập và ngày 2 tháng 11 ông được Hội đồng Quân nhân Cách mạng thăng cấp Thiếu tướng. Một tháng sau, ông được bổ nhiệm chức vụ Tư lệnh Sư đoàn 7 Bộ binh thay thế Đại tá Phạm Văn Đổng. Không hài lòng với vai trò này, ông bí mật tham gia ủng hộ các tướng Nguyễn Khánh, Trần Thiện Khiêm thực hiện Cuộc Chỉnh lý ngày 30 tháng 1 năm 1964, phế truất các tướng lĩnh Dương Văn Minh, Trần Văn Đôn, Tôn Thất Đính, Mai Hữu Xuân, Lê Văn Kim với lý do trung lập. Sau chỉnh lý, ngày 2 tháng 2, ông được tướng Nguyễn Khánh bổ nhiệm chức vụ Tư lệnh Quân đoàn III thay thế Trung tướng Trần Thiện Khiêm[7] sau khi bàn giao Sư đoàn 7 Bộ binh lại cho người bạn cùng khóa Võ bị Viễn Đông là Đại tá Bùi Hữu Nhơn. Đến ngày 7 tháng 4 cùng năm, ông bàn giao Quân đoàn III lại cho Trung tướng Trần Ngọc Tám[8]. Sau đó, ông được tham chính trong Nội các Chính phủ với chức vụ Tổng trưởng Nội vụ thay thế kĩ sư Hà Thúc Ký xin từ nhiệm.

Mặc dù vậy, với tham vọng độc tài của tướng Nguyễn Khánh, ông nhanh chóng có mâu thuẫn xung khắc với người bạn học cũ. Ngày 9 tháng 9, ông từ nhiệm chức vụ Tổng trưởng. Chỉ 4 ngày sau, ngày 13 tháng 9 năm 1964, ông cùng với Trung tướng Dương Văn Đức dẫn lực lượng Quân đoàn IV kéo về Sài Gòn thị uy, dự định lật đổ Chính phủ Nguyễn Khánh để nắm quyền nhưng bất thành do thiếu kiên quyết và thiếu sự ủng hộ của nhiều thế lực khác nhau. Ngày 15 tháng 9, tướng Nguyễn Khánh trở về Sài Gòn, tuyên bố cách chức ông và buộc giải ngũ tướng Dương Văn Đức và một số sĩ quan cao cấp chỉ huy đảo chính. Tuy vậy, không ai trong số họ bị bắt giữ và vẫn được tự do.

Ngày 1 tháng 11 năm 1964, tướng Nguyễn Khánh thành lập chính phủ dân sự do ông Trần Văn Hương làm Thủ tướng, ông Phan Khắc Sửu làm Quốc trưởng. Ngày 19 tháng 2 năm 1965, một lần nữa ông lại đứng ra cầm đầu cuộc đảo chính do Đại tá Phạm Ngọc Thảo tổ chức. Lần này, cuộc đảo chính được tổ chức chặt chẽ hơn và phần nào đạt được mục đích tước quyền lực tướng Nguyễn Khánh. Tuy vậy, nhóm các tướng trẻ do Nguyễn Chánh Thi, Nguyễn Văn Thiệu, Nguyễn Cao Kỳ cầm đầu chống lại đảo chính. Ngày 20 tháng 2, Hội đồng các tướng lãnh họp ở Biên Hòa, đã cử Trung tướng Nguyễn Văn Thiệu nắm chức Chủ tịch Hội đồng Quân lực và đưa Bác sĩ Phan Huy Quát lên làm Thủ tướng thay ông Trần Văn Hương. Hội đồng cũng cử tướng Nguyễn Chánh Thi làm chỉ huy chống đảo chính và ra lệnh cho ông, Đại tá Phạm Ngọc Thảo và 13 sĩ quan khác phải ra trình diện trong 24 giờ. Cuộc đảo chính tan rã[9]

Ngày 26 tháng 4 năm 1965, Tòa án Quân sự tuyên bố tử hình vắng mặt 4 sĩ quan chủ chốt của cuộc đảo chính. Tuy vậy, trong khi Đại tá Phạm Ngọc Thảo bị bắt và chết bí ẩn. Riêng ông bị Hội đồng Kỷ luật Quân đội tuyên bố tước cấp bậc, và buộc ra khỏi Quân đội vào tháng 10 cùng năm. Tuy nhiên đến trung tuần tháng 8 năm 1968, Tòa án Quân sự mặt trận xóa bỏ bản án ngày 26 tháng 4 năm 1965 và tuyên bố tha bổng đối với 14 sĩ quan liên can đến vụ đảo chính ngày 19 tháng 2 năm năm 1965. Suốt thời gian từ 1965 đến 1975, ông sống thầm lặng.